最近,Vision Transformer在低分辨率序列(即视频超分辨率(VSR)任务)中恢复缺失细节方面取得了巨大成功。尽管具有VSR准确性,但重大计算率以及大型内存足迹阻碍了受约束设备上基于变压器的VSR模型的实现。在本文中,我们通过提出一个新颖的功能级掩盖的处理框架来解决上述问题 - 与M询问的VSR工作:vsr和mia-vsr(MIA-VSR)。MIA-VSR的核心是利用相邻框架之间的特征水平的时间连续性来重新计算冗余计算,并更合理地使用以前增强的SR特征。具体而言,我们提出了一个框架内和框架间的注意力块,该障碍占据了过去的特征和输入特征的各个角色,并且仅利用先前增强的fe fore fors for提供补充信息。此外,开发了一个自适应屏蔽预测模块,以根据相邻帧之间的特征模拟跳过不重要的计算。我们进行了详细的研究研究,以验证我们的贡献,并将所提出的方法与最近最新的VSR APARCHES进行比较。实验结果表明,微VSR提高了最先进方法的内存和计算效率,而无需交换PSNR准确性。该代码可在https://github.com/ labshuhanggu/mia-vsr上找到。
主要关键词